静5科研讲座回顾 | 苏炜杰博士谈作者参与的审稿机制

关键词：静5科研讲座；审稿机制

编者按

2022年5月31日，宾夕法尼亚大学沃顿商学院（Wharton School, University of Pennsylvania）的助理教授苏炜杰博士受邀于北京大学前沿计算研究中心作题为“When will you become the best reviewer of your papers? A truthful ower-assisted scoring mechanism”的在线报告。报告由中心助理教授李彤阳博士主持，相关内容通过蔻享学术、Bilibili 同步直播，线上近千人观看。

苏炜杰博士做在线报告

近年来，随着机器学习、人工智能领域的飞速发展，相关学术会议的参与人数、投稿数量逐年剧增。就学术角度而言，这也带来了一个相当的挑战：对于学术会议而言，审稿人给出的平均评分几乎完全决定了稿件的命运。而大量的投稿带来了巨大的审稿压力，人力的限制使得即使相关顶会的审稿质量也相当不尽人意。如何提高学术会议的审稿质量？在这个问题上也有一些学者做出了一定的研究工作，他们的工作往往着眼于如何激励审稿人认真仔细审稿、如何运用种种统计手段更好地估计稿件的真实质量等方面。而苏炜杰博士提出了一个全新的考虑角度：论文作者本人应该是对他们自己的工作最为了解的。如果我们可以让作者本人对他们的工作提供一些评价信息，这能否帮助我们更有效地开展审稿工作？

当然，直接向作者询问他们的稿件质量如何是不可取的。论文作者也往往具有私心，简单地直接询问也许只会得到这样的答案：“我的作品质量都是最好的！”因此，如何设计问题，使得我们能够从作者口中得到尽可能多而又尽可能真实的信息，就显得至关重要。

苏博士对这一问题给出了一个数学化的表述。假设论文作者 Alice 共投稿了  篇文章，这  篇文章的真实质量用向量  来表示。在审稿过程中，审稿人对这些文章的评分分别为  ，其中  为随机扰动。作为论文作者，Alice 对  有充分的知识，但对文章评分  并不了解；而审稿负责人 Bob 所拥有的信息则恰好相反。审稿负责人 Bob 可以对  做一个划分  ，并向 Alice 询问向量  处于哪一个部分的  。在得到 Alice 的回答后，Bob 取评分向量  在  上的投影作为对稿件质量  的最终估计。在整个过程中，Bob 的目的是得到对稿件质量的更准确的估计，而 Alice 的目的是最大化自己的效益，并不一定对 Bob 给出真实的答案。

在一些合理的假设下，苏博士证明了一些有趣的结论：

1. 如果想要 Alice 说实话，那么 Bob 的提问必须保证其划分  中两个相邻部分的边界必须是形如  这样的超平面，其中  表示单篇稿件的质量。即，Alice 只会给出关于其任意两篇稿件哪一篇更好的真实信息。

2. 当 Bob 要求 Alice 对其所有稿件依其质量优劣进行排序（即，保序机制）时，Alice 会给出真实信息。

3. 因此，对于 Bob 而言，他所有的最精细而又能保证得到真实答案的提问方案就是“保序机制”，要求 Alice 对其所有稿件依稿件质量进行排序。此时，Bob 可以得到一个对 Alice 所有稿件质量的新的评分，并且这一评分严格地好于原来的评分。

上述定理是在凸函数假设下证明的。我们需要假设 Alice 心中的效用函数是一个凸函数，即“边际效应递增”，否则将存在违背上面定理的反例。这确实在一定程度上限制了上面所述结论的应用，但苏博士指出，人的社会活动中仍有很多实例符合边际效应递增的规律，并且稿件质量的例子就是其中之一。这是因为学术会议上稿件的命运并不仅有“接收”和“拒绝”两种可能，被接收的稿件曝光度和受重视的程度也是不一样的：一些稿件仅仅是发表而已，而一些投稿人可能会被邀请作口头演讲，还有的稿件可能被评为最佳投稿而大受瞩目。这些不同情况给论文作者带来的效益是天差地别的。对于评分较高的论文，其评分增长的“边际效益”是带来更大的受邀演讲甚至被评为最佳的可能性，边际效益较大；而评分较低的论文即使评分有所增加，也只是处于“接收”的区间内，不会带来太大变化。

在讲座最后，苏博士介绍了该问题的若干种扩展情况，给出了若干相应的定理，并与参会的老师、同学们进行了富有启发性的交流。

报告回放：

图文 | 薛烨诚

Lab for Quantum Algorithms, Theory and Practice
(QUARK Lab)

往期讲座

—   版权声明  —

本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。